MUSE (Multiple Sub-Nyquist Sampling Encoding) とは、NHK放送技術研究所が1984年に開発した[1]ハイビジョン向けの映像圧縮技術である。日本におけるBS放送向けに開発されたがアメリカでのBS放送の便も考慮され[2]、CATVや標準テレビ放送と同様にVSB-AM変調による地上波での放送実験、マイクロ波による中継実験[3]、現在のデジタル放送で採用されているISDBシリーズが備えているような字幕・データ放送の実験[4]などの諸実験が行われ、ハイビジョンLDの記録方式としても採用された[5]。この他にもBSを通じてMUSEによる有料放送を行うべくそれに関する仕様が定義され[6][7]、MUSEデコーダを内蔵したテレビの説明書にデスクランブラの接続についての記載もされていた[8]。
ハイビジョン放送実用化への課題

NHKでは現在のテレビ(System-J/NTSC-J)の「次のテレビ」として1964年より立体テレビジョン及び高品位テレビジョン(ハイビジョンのことである)についての研究を始め、1972年にはCCIR(現在のITU-R)に規格提案を行うまでとなった。しかし、ハイビジョン放送を実用化するためには大きな壁が立ちふさがっていた。それは利用できる帯域幅である。当時利用可能な最大の帯域幅は12GHz BSの27MHzであり、BSではFM変調が用いられていることから駒井・カーソン則に従って計算すると伝送可能なベースバンド信号(原信号)の幅はわずか9MHz以下となってしまう。従ってRGB各色ごとに30MHzもあるスタジオ規格、視覚的な差異がないとされる[9]放送規格の各色それぞれ20MHz幅のハイビジョン映像をそのまま放送するのは不可能である。この問題を解決するために放送用伝送手段が考えられ[10]、その結果MUSE方式が開発された。
MUSEの特徴

MUSEの特徴は入力された映像をさいころの五の目(千鳥格子)状のサンプリングパターンとなるサブサンプリングを動きベクトルを利用して行うことと、色信号の多重化に色線順次TCIを用いてYC時分割多重を行ったことである。人間の目は縦横方向に比べ斜め方向の解像度は低く[11]、動体視力は静止視力にくらべてやはり低い性質を活用し静止画・動画を振り分けた圧縮を行っているが、パン・チルトを行っている場合は動画として圧縮処理を行うと目の特性から動いてても画質の低下が目に付いてしまうのでフィールド間・フレーム間で合成ができるように動きベクトルを用いた動き補正を行って静止画的に処理できるようにしている。
MUSEのしくみ
映像の圧縮
出典：[11]


圧縮対象走査線 : 1,032本

原始サンプリング周波数 : 44.55MHz

伝送サンプリング周波数 : 16.2MHz

ベースバンド帯域幅 : 8.1MHz (-6dB)

同期信号 : デジタルフレームパルス型、正極同期

色差多重方式 : 時間軸圧縮多重 (TCI)

時間軸輝度圧縮率 : 12:11

時間軸色差圧縮率 : 4:1

輝度算出式 : Y' = 0.588G + 0.118B + 0.294R


圧縮方式 : フィールド間、フレーム間、ライン間オフセットサンプリング方式

動きベクトル補正 : 水平±16サンプル (32.4MHzクロック)/フレーム、垂直±3ライン/フィールド

MUSEで圧縮するに至ってまず、得られたハイビジョン信号の20MHzを超える情報を捨て(帯域制限)、サンプリング周波数44.55MHzでRGB各色ないしは輝度・色差(明るさとその色合い)各成分のデジタル化を行う。そして圧縮するのに適したカラーマトリクス(計算式)で求められた輝度・色差に変換し、輝度・色差を時分割で格納するために輝度は12:11の時間軸変更が行われる。これによって輝度のサンプリング周波数は48.6MHzとなる。色差に関しては7.425MHz以上の情報を捨てた後に2種類の色差信号Cb/Crを交互に送るため縦方向の情報を半分にし、サンプリング周波数を14.85MHzに変換して2回の単純なクインカンクスサブナイキストサンプリング(さいころの五の目状のサンプリング点の間引き)が行われる[2]。輝度は静止画と動画とで映像に施される処理が異なり、入力された映像が静止画の場合サンプリング周波数変換を交えた2回のサブナイキストサンプリングを行うことによって20MHzぶんの情報が8.1MHzに畳み込まれる。動画の場合は更に16MHzを超えた情報を捨て、静止画の2回目と同じサンプリングの様相を示すサブサンプリングを行って8.1MHzに畳み込まれる。この畳み込まれたデジタル映像を静止画と動画とで適宜混合してアナログに変換して伝送を行う。静止画と動画の最後の処理を同じくすることにより、デコーダによって行われる静止画・動画の判定において誤判定が起きたとしてもデコード結果画像の破綻が起きないようになっている。これらの処理がエンコード時の基本となっているが、フィルタの工夫・静止画のフレーム単位での処理などいくつかの改善案が挙げられている。[12][13][14][15][16]デコード時には伝送されてきた畳み込みアナログ映像をデジタル化し、圧縮時に行ったように静止画・動画の判定を行って静止画の場合は前のフレームと合成することによって補完してデコードが行われる。
音声の圧縮
出典：[17]


1フレームあたり1350ビット 1ミリ秒

音声圧縮方式 : 準瞬時圧伸 DPCM

モード

Aモード : 32kHz 15-8bit(8レンジ)×4ch(3-1ステレオ)

Bモード : 48kHz 16-11bit(6レンジ)×2ch


音声誤り制御 : (82,74)短縮化BCH 16ビットインターリーブ

多重化方式 : 垂直帰線期間に12.15Mbaudで3値ベースバンド多重

音声に関してはMUSEのために開発されたDANCE(DPCM Audio Near-instantaneous Compressing and Expanding)方式で圧縮される。標準放送と違い、3-1ステレオ方式をサポートする最大4チャンネルのAモードではサンプリング周波数32kHz15ビット、高音質ではあるが最大2チャンネルのBモードでは48kHz16ビットデジタル化した音声をサンプル点間の差をとってDPCM圧縮し、その差信号を1ms区間の準瞬時圧伸(ケタ落し)を行ってAモードでは8レンジ8ビット、Bモードでは6レンジ11ビットに圧縮する。ここで行われるDPCM圧縮の際にリーク値を利用した不完全積分を行うことによって伝送誤り時の雑音と直流誤差を少なくし、ローカルデコーダを設けることによって圧縮誤差が積み重なることを防止している。